ИСПОЛЬЗОВАНИЕ МАШИННОГО ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ В СОЗДАНИИ САМОАДАПТИВНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ 

Бождай Александр Сергеевич, доктор технических наук, профессор, кафедра систем автоматизированного проектирования, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40), E-mail: bozhday@yandex.ru
Евсеева Юлия Игоревна, кандидат технических наук, доцент, кафедра систем автоматизированного проектирования, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40), E-mail: shymoda@mail.ru
Артамонов Дмитрий Владимирович, доктор технических наук, профессор, первый проректор Пензенского государственного университета (Россия, г. Пенза, ул. Красная, 40), E-mail: aius@pnzgu.ru 

004.4 

DOI

10.21685/2072-3059-2019-3-5 

Актуальность и цели. Создание эффективных методов самоадаптации программных систем является достаточно обсуждаемой темой в сообществе разработчиков программного обеспечения. Актуальность проблемы обусловлена высокой сложностью современных программных систем, существенными затратами на их разработку и сопровождение. Указанная проблема сложности непосредственно сказывается на качестве функционирования программных комплексов, поскольку заранее достаточно сложно учесть весь спектр ситуаций, в которых поведенческий профиль программы окажется неадекватным или неточным. Схожая проблема связана и с оптимальностью функционирования подобных систем: программное обеспечение должно самостоятельно определять ситуации, в которых требуется увеличить или снизить количество потребляемых ресурсов для оптимизации производительности. Целью работы является поиск универсальной техники самоадаптации программных систем, способной решить проблему повышения качества функционирования программного обеспечения.
Материалы и методы. В качестве основного метода решения поставленной задачи применен модифицированный метод машинного обучения с подкреплением. Отличие от классического метода заключается в том, что лежащая в его основе процедура является модельно-ориентированной (в ее основе лежит модель предметной области, в которой функционирует система) и учитывает фактор возникающих в процессе эксплуатации программного обеспечения неопределенностей.
Результаты. К основным результатам работы следует отнести: обзор и классификацию существующих методов реализации самоадаптивного поведения программных систем; обоснование возможности применения модифицированной процедуры машинного обучения с подкреплением при разработке самоадаптивного программного обеспечения, функционирующего на основе модели предметной области и учитывающего фактор динамики возникающих неопределенностей.
Выводы. Рассмотренная процедура обучения с подкреплением применима к широкому кругу адаптивных программных систем. Ее применение позволит решить проблемы, связанные с поведением сложных программных систем: оптимальность потребления ресурсов в различных ситуациях, неопределенности, возникающие в процессе эксплуатации программы. 

Ключевые слова

машинное обучение, обучение с подкреплением, самоадаптируемое программное обеспечение 

 Скачать статью в формате PDF

1. Ghezzi, C. ContextErlang:A language for distributed context-aware self-adaptive applications / C. Ghezzi, G. Salvaneschi, M. Pradella // Science of Computer Programming. – Amsterdam : Elsevier, 2015. – С. 20–43.
2. Lei, Y. A model driven agent-oriented self-adaptive software development method / Y. Lei, K. Ben, Z. He // 2015 12th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD). – New Jersey : IEEE, 2015. – С. 255–265.
3. Li, Y. ADAPT: An agent-based development toolkit and operation platform for selfadaptive systems / Y. Li, L. Li, W. Wang, T. Wu // IEEE Conference on Open Systems (ICOS). – New Jersey : IEEE, 2017. – С. 145–167.
4. Bencomo, N. Supporting decision-making for self-adaptive systems: From goal models to dynamic decision network / N. Bencomo, A. Belaggoun // International Working Conference on Requirements Engineering: Foundation for Software Quality. – San Francisco : IEEE , 2013. – С. 221–237.
5. Belhaj, N. Framework for Building Self-Adaptive Component Applications Based on Reinforcement Learning. Framework for Building Self-Adaptive Component Applications Based on Reinforcement Learning / N. Belhaj, , D. Belaid, H. Mukhtar // 2018 IEEE International Conference on Services Computing (SCC). – San Francisco : IEEE, 2018. – С. 139–156.
6. Dongsun, K. Reinforcement Learning-Based Dynamic Adaptation Planning Method for Architecture-based Self-Managed Software / K. Dongsun, P. Sooyong // 2009 ICSE Workshop on Software Engineering for Adaptive and Self-Managing Systems. – San Francisco : IEEE, 2009. – С. 178–184.
7. Colette, R. Guiding Goal Modeling Using Scenarios / R. Colette, S. Carine, B. Camille // IEEE Transactions on Software Engineering. – San Francisco : IEEE, 1998. – С. 114–127.
8. Naeem, E. Uncertainty in Self-Adaptive Software Systems / E. Naeem, M. Sam // Uncertainty inSelf-Adaptive Software Systems. – Berlin : Springer, 2013. – С. 214–238.
9. Villegas, N. M. ManagingDynamic Context to Optimize Smart Interactions and Services / Norha M. Villegas, Hausi A. Muller // The Smart Internet. – Berlin : Springer, 2010. – С. 289–318.
10. Han, H. Model-based Reinforcement Learning Approach for Planning in Self-Adaptive System / H. Han // International Conference on Ubiquitous Information Management and Communication. – New Jersey : IEEE, 2015. – С. 156–178.
11. Бождай, А. С. Метод рефлексивной самоадаптации программных систем / А. С. Бождай, Ю. И. Евсеева // Известия высших учебных заведений. Поволжский регион. Технические науки. – 2018. – № 2 (46). – С. 74–86.